BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 생성형 AI의 멀티모달 딥러닝 기술 확산의 계기가 된 오픈AI(OpenAI)의 CLIP(Contrastive Language-Image Pre-Training, 2021) 코드 개발 과정을 분석하고, 사용하는 방법을 정리한다.    ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 이메일 | laputa99999@gmail.com 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast CLIP은 구글이 개발한 자연어 번역 목적의 트랜스포머 모델, 비전 데이터 변환에 사용되는 VAE(Variational Autoencoder) 개념을 사용하여 멀티모달 학습 방식을 구현하였다. 이번 호에서는 그 과정을 설명하고 파이토치로 직접 구현하는 과정을 보여준다. CLIP을 이용하면 유튜브, 넷플릭스와 같은 영상에서 자연어로 질의해 해당 장면을 효과적으로 검색할 수 있다. 참고로, CLIP에서는 트랜스포머가 핵심 컴포넌트로 사용되었다. CLIP과 같이 트랜스포머가 자연어 번역 이외에 멀티모달의 핵심 기술이 된 이유는 비정형 데이터를 연산 가능한 차원으로 수치화할 수 있는 임베딩 기술의 발전과 트랜스포머의 Key, Query, Value 입력을 통한 여러 학습 데이터 조합이 가능한 특징이 크게 작용했다.    그림 1. 멀티모달 시작을 알린 오픈AI의 CLIP 모델(Learning Transferable Visual Models From Natural Language Supervision, 2021)   트랜스포머와 VAE를 이용한 멀티모달 CLIP 네트워크를 좀 더 깊게 파헤쳐 보도록 한다. 앞서 설명된 트랜스포머, 임베딩과 관련된 개념에 익숙하다면, CLIP을 이해하고 구현하는 것이 그리 어렵지는 않을 것이다.    CLIP에 대한 이해 오픈AI에서 개발한 CLIP 모델은 공유 임베딩 공간 내에서 이미지 및 텍스트 형식을 통합하는 것을 목표로 했다. 이 개념은 기술과 함께 이미지와 텍스트를 넘어 다른 양식을 수용한다.(멀티모달) 예를 들어, 유튜브 등 비디오 애플리케이션 내에서 텍스트 검색 성능을 개선하기 위해 공통 임베딩 공간에서 비디오 및 텍스트 형식을 결합하여 모델을 학습시켰다. 사실, 임베딩 텐서를 잠재 공간(Latent Space)으로 이기종 데이터를 변환, 계산, 역변환할 수 있다는 아이디어는 VAE 기술, 구글의 트랜스포머 논문(2017)을 통해 개발자들 사이에 암시되어 있었다. 이를 실제로 시도해본 연구가 CLIP이다.  참고로, CLAP(Contrastive Language-Audio Pretraining)은 동일한 임베딩 공간 내에서 텍스트와 오디오 형식을 통합하는 또 다른 모델로, 오디오 애플리케이션 내에서 검색 기능을 개선하는 데 유용하다. CLIP은 다음과 같은 응용에 유용하다. 이미지 분류 및 검색 : CLIP은 이미지를 자연어 설명과 연결하여 이미지 분류 작업에 사용할 수 있다. 사용자가 텍스트 쿼리를 사용하여 이미지를 검색할 수 있는 보다 다양하고 유연한 이미지 검색 시스템을 허용한다. 콘텐츠 조정 : CLIP은 부적절하거나 유해한 콘텐츠를 식별하고 필터링하기 위해 이미지와 함께 제공되는 텍스트를 분석하여, 온라인 플랫폼의 콘텐츠를 조정하는 데 사용할 수 있다. 참고로, 메타 AI(Meta AI)는 최근 이미지, 텍스트, 오디오, 깊이, 열, IMU 데이터 등 6가지 양식에 걸쳐 공동 임베딩을 학습하는 이미지바인드(ImageBind)를 출시했다. 두 가지 모달리티를 수용하는 최초의 대규모 AI 모델인 CLIP은 이미지바인드 및 기타 다중 모달리티 AI 시스템을 이해하기 위한 전제 조건이다. CLIP은 배치 내에서 어떤 N×N(이미지, 텍스트) 쌍이 실제 일치하는지 예측하도록 설계되었다. CLIP은 이미지 인코더와 텍스트 인코더의 공동 학습을 통해 멀티모달 임베딩 공간을 만든다. CLIP 손실은 트랜스포머의 어텐션 모델을 사용하여, 학습 데이터 배치에서 N개 쌍에 대한 이미지와 텍스트 임베딩 간의 코사인 유사성을 최대화하는 것을 목표로 한다.  다음은 이를 설명하는 의사코드이다. 1. img_en = image_encoder(I)   # [n, d_i] 이미지 임베딩 인코딩을 통한 특징 추출  2. txtxt_emdn = textxt_emdncoder(T)    # [n, d_t] 텍스트 임베딩 인코딩을 통한 특징 추출 3. img_emd = l2_normalize(np.dot(img_en, W_i), axis=1)    # I×W 결합(조인트) 멀티모달 임베딩 텐서 계산 4. txt_emd = l2_normalize(np.dot(txtxt_emdn, W_t), axis=1)  # T×W 결합(조인트) 멀티모달 임베딩 텐서 계산 5. logits = np.dot(img_emd, txt_emd.T) * np.exp(t)   # I×T * E^t 함수를 이용한 [n, n]코사인 유사도 계산 6. labels = np.arange(n) 7. loss_i = cross_entropy_loss(logits, labels, axis=0)  # 이미지 참값 logits과 예측된 label간 손실 8. loss_t = cross_entropy_loss(logits, labels, axis=1)  # 텍스트 참값 logits과 예측된 label간 손실 9. loss = (loss_i + loss_t)/2   # 이미지, 텍스트 손실 평균값   실제 오픈AI 논문에는 <그림 2>와 같이 기술되어 있다.(동일하다.)   그림 2     ■ 자세한 기사 내용은 PDF로 제공됩니다.

개발 및 공급 : 엔비디아 주요 특징 : AI 처리를 위한 3세대 텐서 코어 및 레이 트레이싱을 위한 2세대 RT 코어 탑재, 암페어 아키텍처 기반의 CUDA 코어 탑재해 그래픽/컴퓨팅 처리속도 향상, 전문가 작업의 데이터를 처리속도 향상 위한 메모리 대역폭 증가, 효율적인 비디오 처리를 위한 인코딩/디코딩 엔진 탑재 등   엔비디아가 새로운 엔비디아 RTX A400과 RTX A1000 GPU를 통해 RTX 전문가용 그래픽 제품을 확장하고, 디자인을 비롯한 AI 기반 생산성 워크플로를 강화한다고 밝혔다. 디자인과 생산성 애플리케이션 전반에 걸친 AI 통합이 새로운 기준으로 자리잡으면서 고급 컴퓨팅 성능에 대한 수요가 증가하고 있다. 즉, 전문가와 크리에이터들은 프로젝트의 규모와 복잡성 또는 범위에 관계없이 향상된 컴퓨팅 성능을 활용해야 한다. 엔비디아 암페어(Ampere) 아키텍처 기반의 RTX A400과 RTX A1000 GPU는 이렇게 증가하는 수요를 충족하기 위해 개발됐으며, AI와 레이 트레이싱 기술에 대한 접근성을 확대해 전문가들이 일상적인 워크플로를 혁신하는데 필요한 도구를 제공한다.   ▲ 엔비디아 RTX A400   향상된 성능으로 창의성 및 효율 향상 지원 RTX A400 GPU는 RTX 400 시리즈 GPU에 가속화된 레이 트레이싱과 AI를 도입했다. 이 GPU는 AI 처리를 위한 24개의 텐서 코어(Tensor Cores)를 탑재해 기존 CPU 기반 솔루션을 넘는 성능을 제공한다. 이를 통해 전문가들은 지능형 챗봇, 코파일럿과 같은 최첨단 AI 애플리케이션을 데스크톱에서 직접 실행할 수 있다. 또한 GPU는 실시간 레이 트레이싱을 제공하므로 크리에이터는 생생하고 물리적 정확도가 높은 3D 렌더링을 제작할 수 있다. A400은 시리즈 최초로 4개의 디스플레이 출력을 지원해 금융 서비스, 명령과 제어, 유통, 운송과 같은 산업에 필수적인 고밀도 디스플레이 환경에 적합하다. 엔비디아 RTX A1000 GPU는 RTX 1000 시리즈 GPU에 처음으로 텐서 코어와 RT 코어를 도입했다. 이를 통해 전문가와 크리에이터를 위한 가속화된 AI와 레이 트레이싱 성능을 제공한다. A1000은 72개의 텐서 코어를 탑재해 이전 세대에 비해 업그레이드된 성능을 갖췄다. 스테이블 디퓨전(Stable Diffusion)과 같은 도구에서 3배 이상 빠른 생성형 AI 프로세싱을 제공하며, 18개의 RT 코어는 그래픽과 렌더링 작업 속도를 최대 3배까지 높여 2D와 3D CAD, 제품과 건축 설계, 4K 비디오 편집과 같은 전문적인 워크플로를 가속화한다. 더불어 A1000은 이전 세대보다 최대 38% 더 많은 인코딩 스트림을 처리하고 2배 더 빠른 디코딩 성능을 제공하는 등 비디오 처리 능력을 높였다.   ▲ 엔비디아 RTX A1000   차세대 기능을 통한 성능 강화 A400과 A1000 GPU는 싱글 슬롯 디자인에 전력소비량이 50W이며, 콤팩트하고 에너지 효율적인 워크스테이션을 위해 향상된 기능을 제공한다.  2세대 RT 코어 : 건축 도면, 3D 디자인, 콘텐츠 제작 등 모든 전문 워크플로를 위한 실시간 레이 트레이싱, 사실적인 물리 기반 렌더링과 시각화, 정확한 조명과 그림자 시뮬레이션으로 작업 품질을 높일 수 있다. 3세대 텐서 코어 : 생성형 AI, 이미지 렌더링 노이즈 제거, 딥러닝 슈퍼 샘플링과 같은 AI 증강 도구와 애플리케이션을 가속화해 이미지 생성 속도와 품질을 개선한다.  암페어 아키텍처 기반 쿠다 코어 : 암페어 아키텍처 기반의 쿠다(CUDA) 코어는 이전 세대 대비 최대 2배의 단정밀도 부동 소수점 처리량으로 그래픽과 컴퓨팅 워크로드의 속도를 크게 높인다. 4GB/8GB 메모리 : A400 GPU의 4GB와 A1000 GPU의 8GB GPU 메모리는 다양한 전문가용 요구 사항을 충족한다. 여기에는 기본적인 그래픽 디자인과 사진 편집부터 텍스처나 고해상도 편집, 데이터 분석이 필요한 까다로운 3D 모델링 등이 포함된다. 또한 이 GPU들은 이전 세대보다 메모리 대역폭이 증가해 데이터를 더 빠르게 처리하고 대용량 데이터 세트와 장면을 더 원활하게 처리할 수 있다. 인코딩/디코딩 엔진 : 7세대 인코드(NVENC)와 5세대 디코드(NVDEC) 엔진을 탑재한 새 GPU는 효율적인 비디오 처리를 기능을 제공한다. 이를 통해 초저지연으로 고해상도 비디오 편집, 스트리밍, 재생을 지원한다. 또한 AV1 디코드가 포함돼 더 많은 비디오 포맷을 더 효율적이고 원활하게 재생할 수 있다.   RTX 솔루션의 활용 범위 확대 엔비디아는 새로운 GPU가 최첨단 AI, 그래픽, 컴퓨팅 기능 등을 통해 사용자의 생산성을 높이고 창의적인 가능성을 열어준다고 전했다. 레이 트레이싱 렌더링과 AI가 포함된 고급 워크플로를 통해 전문가들은 작업의 한계를 뛰어넘고 놀라운 수준의 사실감을 구현할 수 있다. 기획 담당자들은 강력하고 에너지 효율적인 새로운 컴퓨팅 솔루션을 에지 배포에 사용할 수 있다. 크리에이터는 편집과 렌더링 속도를 높여 더욱 풍부한 시각적 콘텐츠를 제작할 수 있다. 건축가와 엔지니어는 아이디어를 3D CAD 개념에서 실제 디자인으로 원활하게 전환할 수 있다. 스마트 공간에서 작업하는 경우에는 공간 제약이 있는 환경에서 실시간 데이터 처리, AI 기반 보안, 디지털 사이니지 관리 등에 GPU를 사용할 수 있다. 또한 의료 전문가들은 더 빠르고 정밀한 의료 영상 분석을 수행할 수 있다.     ■ 기사 내용은 PDF로도 제공됩니다.

트렌드에서 얻은 것 No.20   “It just works.(그냥 잘 됩니다.)”  - 젠슨 황(엔비디아 CEO)    생성형 AI의 일상화 - 비서를 두다 이제는 글 쓰는 데에 일상화된 질문과 답변이다. 그 전에는 없던 비서가 2년만에 생겼다. 그리고 그 비서의 역할로 인해 폭풍 성장하며 스스로 미래의 가치를 높인 기업이 바로 엔비디아이며, 그 중심에 젠슨 황이 있다. 최근 비즈니스 업그레이더 이재훈 Bzup 대표의 ‘챗GPT 10배 활용하기’ 강의를 들었다. 그리고 그의 노하우가 담긴 몇가지를 학습하고 적용해 보았다.  질문 : “너는 엔비디아 전문가야. 기술, 경영 전반에 걸쳐 두루두루 잘 분석하는 전문가야. 내가 질문하는 것에 대답 잘 해 줄꺼지? 엔비디아 기업 성장 맵을 만들려고 해. 엔비디아가 성장하는 과정에서 초창기, 성장기, 성숙기 등 하이프루프 방식으로 정리해줘.” 답변 : “엔비디아의 기업 성장 맵을 만드는 것은 흥미로운 과제군요! 먼저, 초창기 성장기, 성숙기 및 하이프루프 단계를 정의해야 할 것 같습니다. 각 단계에서 어떤 특징이 있고 어떤 전략이 필요한지에 대해 생각해 보겠습니다. 또한 이 단계들을 시각적으로 어떻게 나타낼지도 고려해야 할 것 같습니다. 어떻게 시작할까요?“ 질문 : “가트너가 해마다 전략을 정의하듯, 그리고 가트너가 기술을 정리하듯이 써줘.” 답변 : “가트너의 전략과 기술 정의를 따라 엔비디아의 성장 맵을 만들어 보는 건 탁월한 아이디어입니다! 각 단계를 적절히 정의하고, 초창기 성장기, 성숙기 및 하이프루프 단계에서의 특징과 필요한 전략을 명확히 설명해야 할 것입니다. 그리고 이를 가트너가 일반적으로 사용하는 방식으로 구성하여 보여주면 좋겠습니다. 어떻게 시작할까요?“  실제로 자세한 사실관계에 대한 내용은 위키백과에서 볼 수 있다. 엔비디아 기업 성장 맵을 써 보려고 한 것은 전세계가 열광한 엔비디아 GTC(GPU 기술 콘퍼런스) 이벤트 때문이다. 어떤 내용이길래, 어디서부터가 시작점이고 어떤 과정을 밟았는지에 대한 궁금증으로부터 출발한다.  “듣는 사람의 입장에서 생각해야 합니다.” - 젠슨 황(엔비디아 CEO)   엔비디아 GTC 2024  엔비디아 GTC 2024는 2024년 3월 18일부터 21일까지 미국 캘리포니아주 산호세에서 개최되었다. 이번 행사에서는 인공지능(AI) 분야의 최신 발전 사항과 엔비디아의 새로운 제품 및 기술들이 소개되었다. GTC 2024의 기조 연설에서 엔비디아 젠슨 황 CEO는 옴니버스(Omniverse), 드라이브(DRIVE), RTX, HGX 등 엔비디아의 4가지 주요 플랫폼과 기술 발전 방향을 제시했다. 특히, 옴니버스를 중심으로 한 메타버스 구축, 자율주행 자동차 개발, 고성능 컴퓨팅 분야에서의 혁신을 위한 자사의 노력을 강조했다. 첫 번째로, 엔비디아의 메타버스 플랫폼인 옴니버스는 실시간 3D 디자인 및 협업을 위한 새로운 기능들을 선보였다. 또한, 옴니버스 클라우드(Omniverse Cloud)를 통해 클라우드 기반 액세스와 확장성을 제공한다고 발표했다. 두 번째로, 엔비디아의 자율주행 자동차 플랫폼인 드라이브는 새로운 드라이브 오린(DRIVE Orin) SoC와 드라이브 하이페리온 8(DRIVE Hyperion 8) AI 센서를 공개했다. 또한, 여러 자동차 제조업체와의 협력을 통해 자율주행 자동차 개발을 가속화하고 있다고 밝혔다. 세 번째로, 엔비디아의 실시간 레이 트레이싱 기술인 RTX는 새로운 RTX 40 시리즈 GPU를 출시했다. 또한, DLSS 3.0 업데이트와 함께 게임, 영화 제작, 디자인 등 다양한 분야에서 더욱 향상된 그래픽 성능을 제공한다고 발표했다. 네 번째, 엔비디아의 고성능 컴퓨팅 플랫폼인 HGX는 새로운 HGX 폴라리스(HGX Polaris) 시스템을 공개했다. 또한, AI, 머신러닝, 과학적 컴퓨팅 등 첨단 컴퓨팅 분야에서 HGX 플랫폼의 활용도가 증가하고 있다고 밝혔다.  “대화의 주제를 정확하게 알아야 합니다.” - 젠슨 황(엔비디아 CEO)   생성형 AI의 도움으로 정리한 엔비디아 성장 스토리텔링 엔비디아의 초창기와 성장기에서 기술 혁신은 GPU로 시작되었다. 그래픽 처리 분야에서의 성능과 효율성을 크게 높였다. 경영 측면에서는 기술 혁신을 통해 게임 산업에 진입하고, 과학 및 엔터프라이즈 시장으로 확장하는 등의 전략을 펼쳤다. 트렌드 측면은 게임 산업의 성장과 함께 인공지능, 자율주행, 데이터센터 등 새로운 시장 트렌드에 대한 대비가 중요했다. 성숙기로 접어들면서 기술 측면은 기술 성숙과 더불어 딥러닝 및 가속화 기술을 강화하여 다양한 시장에서 적용 가능성을 높였다. 경영 측면에서는 성장한 시장에서 지속적인 경쟁력을 유지하기 위해 제품 다변화 및 글로벌 시장 진출을 강화하는 전략을 채택했다. 트렌드 측면에서는 인공지능 및 자율주행 분야에서의 성장을 주도하면서, 클라우드 컴퓨팅 및 데이터 중심 기술에 대한 수요가 증가했다. 하이프루프 관점으로 살펴보면, 기술 측면은 에지 컴퓨팅, 혼합현실 및 자율주행과 같은 미래 지향적인 기술에 집중하고 있다. 경영 측면은 기술 트렌드를 선도하며, 산업 파괴적 혁신을 통해 새로운 시장 기회를 발굴하는 전략을 수행하고 있다. 트렌드 측면은 인공지능과 빅데이터 분야의 지속적인 성장과 함께, 확장된 협력 모델 및 지속 가능한 기업 가치 창출이 중요한 트렌드이다. 흥미로운 분야의 성장으로 살펴보자. 기술 측면으로 볼 때 인공지능(AI) 및 머신러닝(ML) 분야에서의 GPU 가속화 기술을 향상시켜 왔으며, 이를 통해 다양한 산업에서의 AI 응용 프로그램을 지원하고 있다. 경영 측면은 AI 및 ML 분야에서의 리더십을 강화하기 위해 투자를 늘리고, 새로운 파트너십을 구축하여 생태계를 확장하고 있다. 트렌드 측면은 데이터 중심의 AI 및 ML 기술은 미래의 핵심 트렌드 중 하나로 자리 잡았으며, 엔비디아는 이를 주도하는 역할을 수행하고 있다. 전략을 구현하는 방안으로는 첫 번째, 글로벌 확장과 파트너십 강화이다. 기술 측면은 글로벌 시장에서의 성장을 위해 지역별 맞춤형 솔루션을 개발하고, 이를 통해 다양한 지역에서 시장 점유율을 확대하고 있다. 경영 측면은 다양한 산업과의 파트너십을 강화하여 협력 기회를 확장하고 있으며, 특히 클라우드 제공업체 및 자동차 제조업체와의 협업을 강화하고 있다. 트렌드 측면은 글로벌 경제 통합과 디지털화의 추세에 따라 경쟁력 강화, 지역적인 산업 생태계와의 협력을 통해 성장을 가속화하고 있다. 두 번째, 에지 컴퓨팅 및 혼합현실 분야 진출이다. 기술 측면은 에지 컴퓨팅 및 혼합현실 분야에서 새로운 기술을 개발하고, 이를 통해 스마트 시티, 스마트 공장 등 새로운 시장을 개척하고 있다. 경영 측면은 이러한 새로운 분야로의 진출을 위해 투자를 확대하고, 혁신적인 제품과 서비스를 개발하고 있다. 트렌드 측면은 에지 컴퓨팅 및 혼합현실이 미래의 주요 기술 트렌드로 떠오르고 있으며, 이를 선도하는 역할을 하고 있다.  엔비디아의 비전 실현을 위한 미래 전망으로 보면, 기술 측면은 지속적인 기술 혁신을 추구하고 인공지능, 자율주행, 에지 컴퓨팅 등의 분야에서 선도적인 역할을 수행하며, 경영 측면은 비전 실현을 위해 글로벌 시장에 대한 전략적 접근을 유지하고, 혁신적인 비즈니스 모델을 발전시켜 나갈 것이다. 트렌드 측면은 빠르게 변화하는 기술 및 시장 트렌드에 대응하면서, 지속적인 성장과 발전을 이루어 나갈 것이다. 엔비디아의 전망은 매우 밝다. 기술 혁신과 산업 변화의 중심에서 계속해서 성장하고 있는 엔비디아는 미래에도 주목할 가치가 있다. 첫째, 인공지능 및 자율주행 산업의 성장이다. 인공지능 및 자율주행 분야는 미래 산업의 중심이 될 것으로 예상된다. 엔비디아는 이러한 산업의 성장을 이끌어가는 주요 기업 중 하나로 남을 것이다. 둘째, 데이터 센터 및 에지 컴퓨팅 시장의 확대이다. 데이터 중심의 컴퓨팅이 더욱 중요해지면서 데이터 센터 및 에지 컴퓨팅 시장도 계속해서 성장할 것으로 예상되며, 엔비디아는 이러한 시장 확대에 선도적인 역할을 하며 새로운 성장 동력을 확보할 것이다. 셋째, 산업 파괴적 혁신과 새로운 시장 탐색이다. 엔비디아는 계속해서 기존 산업을 혁신하고 새로운 시장을 탐색하여 성장할 것으로 기대된다. 에지 컴퓨팅, 혼합현실 및 자율주행 분야의 혁신적인 제품과 서비스를 통해 더욱 다양한 시장에서 성공을 이룰 것이다. 마지막으로, 사회적 책임과 지속 가능한 경영이다. 엔비디아는 사회적 책임과 지속 가능한 경영을 더욱 강조할 것으로 예상된다. 환경 보호, 다양성 증진, 사회 공헌 등의 활동을 통해 미래 세대를 위한 지속 가능한 사회를 구축하는 데 기여할 것이다.  이러한 전망을 바탕으로 엔비디아는 미래에도 지속적인 성장과 발전을 이루어 나갈 것으로 기대된다.  “곧 망한다는 심정으로 일하라.” - 젠슨 황(엔비디아 CEO)   기업 성장 맵 - 엔비디아 2016년 샌프란시스코에서 열린 GTC에서 젠슨 황 CEO는 “저는 항상 우리 회사가 30일 안에 망할 것이라고 생각하며 일합니다. 이런 생각은 우리가 끊임없이 혁신하고 경쟁력을 유지하도록 동기를 부여합니다”라고 말했다. 2018년 CNBC와의 인터뷰에서도 그는 “우리는 항상 위기 의식을 가지고 일해야 합니다. 만약 우리가 현상에 만족하고 안주한다면, 곧 뒤처질 것입니다”라고 말하며, 경쟁력을 유지하기 위한 끊임없는 노력의 중요성을 강조했다. 최근인 2023년 11월에는 “기술 산업은 변화가 매우 빠릅니다. 우리가 앞서 나가고 싶다면 변화를 두려워하지 말고 적극적으로 새로운 도전을 해야 합니다. 만약 우리가 과거의 성공에 안주한다면, 곧 시장에서 사라질 것입니다”라고 말했다. 이처럼 젠슨 황 CEO는 여러 차례 “곧 망한다는 심정으로 일하라”는 메시지를 강조하며, 이는 엔비디아의 놀라운 성장과 혁신의 핵심 동력이 되었다는 평가를 받고 있다. 그래서 “곧 망한다는 심정으로 일하라”는 어록이 탄생했는지도 모르겠다. 엔비디아는 시스템 반도체 설계 등의 사업을 운영하는 미국의 기업이다. 80% 가량의 점유율을 기록하며 PC용 외장 GPU 리테일 시장에서 점유율 1위를 기록하고, 인공지능 칩 분야에서도 80% 이상의 점유율로 선두이다. 또한 자율주행 자동차 플랫폼 시장에서도 업계 선두를 유지하고 있다. 2020년대 이후로 AI 광풍이 불었고, 엔비디아는 GPU를 만들던 기술력으로 AI 칩을 생산하면서 전 세계에서 가장 주목받는 AI 수혜주로 등극했다. 이로 인해 2023년, 사상 처음으로 세계 반도체 기업 매출 1위에 등극했다 그들의 스토리는 1993년에 AMD의 마이크로프로세서 엔지니어였던 커티스 프리엠과 젠슨 황, 크리스 말라코스키의 세 명으로부터 시작되었다. 처음에는 CPU 생산을 기획했으나, 이 시장에 진입하는 것이 어렵다고 판단해서 비디오 게임으로 인해 수요가 높아진 그래픽 칩셋으로 눈길을 돌렸다.(출처 : 위키백과)  앞으로 어떤 행보를 보일지 또 어떤 가치로 반도체 시장을 주름잡을지 흥미롭게 지켜보면 좋겠다. 나는 그를 ‘대만에서 온 가죽 재킷을 입은 미래소년’이라고 부르고 싶다. 구글 제미나이(Gemini)에게 다음의 질문과  답변을 들어 보았다.  “앞으로의 전망과 엔비디아 GTC가 미래에는 뭘 하면 지구를 위해 더 가치 있는 일을 할 수 있을까? 스티브 잡스, 일론 머스크 스타일처럼 젠슨 황의 미래는 어떨 것 같아?” 제미나이는 다음과 같이 답변하였다.  “그는 ‘엔비디아의 기술은 전 세계 수 십억 명 사람들의 삶을 개선할 수 있는 잠재력을 가지고 있다’고 강조하며, 의료, 교육, 환경 분야에서도 엔비디아 기술을 활용하여 지속가능한 발전을 이루고자 하는 뜻을 밝히고 있습니다. 엔비디아가 미래에 지구를 위해 더 가치 있는 일을 할 수 있는 구체적인 방향은 다음과 같습니다.  AI 의료 플랫폼 구축 : 엔비디아의 강력한 GPU는 의료 영상 분석, 질병 진단, 맞춤형 치료 개발 등에 활용될 수 있습니다. 이를 통해 질병 치료의 정확성을 높이고, 치료 기간을 단축하며, 의료 비용을 절감하는 데 기여할 수 있습니다. 스마트 시티 구축 : 엔비디아 기술은 실시간 교통 시스템, 에너지 관리 시스템, 자율 주행 자동차 시스템 등을 구축하는 데 활용될 수 있습니다. 이를 통해 도시의 효율성을 높이고, 에너지 사용량을 줄이며, 시민들의 삶의 질을 향상시키는데 기여할 수 있습니다. 기후 변화 문제 해결 : 엔비디아 기술은 기후 모델링, 환경 모니터링, 재난 예측 시스템 개발 등에 활용될 수 있습니다. 이를 통해 기후 변화의 원인을 파악하고, 효과적인 대응 방안을 마련하며, 지구 환경 보호에 기여할 수 있습니다. 젠슨 황 CEO는 마치 스티브 잡스나 일론 머스크처럼 혁신적인 기술과 비전으로 세상을 변화시키는 리더로 평가받고 있습니다. 그는 기술을 통해 인간의 삶을 개선하고 지구를 더 나은 곳으로 만들고자 하는 강한 의지를 가지고 있으며, 이를 위해 끊임없이 노력하고 있습니다.”   (출처:gemini.google.com)   ▲ 기업 성장 맵 - 엔비디아편(Map by 류용효) (클릭하면 큰 그림으로 볼 수 있습니다.)   ■ 류용효 디원의 상무이며 페이스북 그룹 ‘컨셉맵연구소’의 리더로 활동하고 있다. 현업의 관점으로 컨설팅, 디자인 싱킹으로 기업 프로세스를 정리하는데 도움을 주며, 1장의 빅 사이즈로 콘셉트 맵을 만드는데 관심이 많다. (블로그)     ■ 기사 내용은 PDF로도 제공됩니다.

엔비디아가 새로운 엔비디아 RTX A400과 RTX A1000 GPU를 통해 RTX 전문가용 그래픽 제품을 확장하고, 디자인을 비롯한 AI 기반 생산성 워크플로를 강화한다고 밝혔다. 디자인과 생산성 애플리케이션 전반에 걸친 AI 통합이 새로운 기준으로 자리잡으면서 고급 컴퓨팅 성능에 대한 수요가 증가하고 있다. 즉, 전문가와 크리에이터들은 프로젝트의 규모와 복잡성 또는 범위에 관계없이 향상된 컴퓨팅 성능을 활용해야 한다. 엔비디아 암페어(Ampere) 아키텍처 기반의 RTX A400과 RTX A1000 GPU는 이렇게 증가하는 수요를 충족하기 위해 개발됐으며, AI와 레이 트레이싱 기술에 대한 접근성을 확대해 전문가들이 일상적인 워크플로를 혁신하는데 필요한 도구를 제공한다.   ▲ 엔비디아 RTX A400   RTX A400 GPU는 RTX 400 시리즈 GPU에 가속화된 레이 트레이싱과 AI를 도입했다. 이 GPU는 AI 처리를 위한 24개의 텐서 코어(Tensor Cores)를 탑재해 기존 CPU 기반 솔루션을 넘는 성능을 제공한다. 이를 통해 전문가들은 지능형 챗봇, 코파일럿과 같은 최첨단 AI 애플리케이션을 데스크톱에서 직접 실행할 수 있다. 또한 GPU는 실시간 레이 트레이싱을 제공하므로 크리에이터는 생생하고 물리적 정확도가 높은 3D 렌더링을 제작할 수 있다. A400은 시리즈 최초로 4개의 디스플레이 출력을 지원해 금융 서비스, 명령과 제어, 유통, 운송과 같은 산업에 필수적인 고밀도 디스플레이 환경에 적합하다.   ▲ 엔비디아 RTX A1000   엔비디아 RTX A1000 GPU는 RTX 1000 시리즈 GPU에 처음으로 텐서 코어와 RT 코어를 도입했다. 이를 통해 전문가와 크리에이터를 위한 가속화된 AI와 레이 트레이싱 성능을 제공한다. A1000은 72개의 텐서 코어를 탑재해 이전 세대에 비해 업그레이드된 성능을 갖췄다. 스테이블 디퓨전(Stable Diffusion)과 같은 도구에서 3배 이상 빠른 생성형 AI 프로세싱을 제공하며, 18개의 RT 코어는 그래픽과 렌더링 작업 속도를 최대 3배까지 높여 2D와 3D CAD, 제품과 건축 설계, 4K 비디오 편집과 같은 전문적인 워크플로를 가속화한다. 더불어 A1000은 이전 세대보다 최대 38% 더 많은 인코딩 스트림을 처리하고 2배 더 빠른 디코딩 성능을 제공하는 등 비디오 처리 능력을 높였다. 엔비디아 RTX A400과 A1000 GPU에 탑재된 2세대 RT 코어는 건축 도면, 3D 디자인, 콘텐츠 제작 등 모든 전문 워크플로를 위한 실시간 레이 트레이싱, 사실적인 물리 기반 렌더링과 시각화, 정확한 조명과 그림자 시뮬레이션으로 작업 품질을 높일 수 있다. 3세대 텐서 코어는 생성형 AI, 이미지 렌더링 노이즈 제거, 딥러닝 슈퍼 샘플링과 같은 AI 증강 도구와 애플리케이션을 가속화해 이미지 생성 속도와 품질을 개선한다. 암페어 아키텍처 기반의 쿠다(CUDA) 코어는 이전 세대 대비 최대 2배의 단정밀도 부동 소수점 처리량으로 그래픽과 컴퓨팅 워크로드의 속도를 크게 높인다. A400 GPU의 4GB와 A1000 GPU의 8GB GPU 메모리는 다양한 전문가용 요구 사항을 충족한다. 여기에는 기본적인 그래픽 디자인과 사진 편집부터 텍스처나 고해상도 편집, 데이터 분석이 필요한 까다로운 3D 모델링 등이 포함된다. 또한 이 GPU들은 이전 세대보다 메모리 대역폭이 증가해 데이터를 더 빠르게 처리하고 대용량 데이터 세트와 장면을 더 원활하게 처리할 수 있다. 7세대 인코드(NVENC)와 5세대 디코드(NVDEC) 엔진을 탑재한 새 GPU는 효율적인 비디오 처리를 기능을 제공한다. 이를 통해 초저지연으로 고해상도 비디오 편집, 스트리밍, 재생을 지원한다. 또한 AV1 디코드가 포함돼 더 많은 비디오 포맷을 더 효율적이고 원활하게 재생할 수 있다. A400과 A1000 GPU는 싱글 슬롯 디자인에 전력소비량이 50W에 불과하며, 콤팩트하고 에너지 효율적인 워크스테이션에 인상적인 기능을 제공한다.  엔비디아는 새로운 GPU가 최첨단 AI, 그래픽, 컴퓨팅 기능 등을 통해 사용자의 생산성을 높이고 창의적인 가능성을 열어준다고 전했다. 레이 트레이싱 렌더링과 AI가 포함된 고급 워크플로를 통해 전문가들은 작업의 한계를 뛰어넘고 놀라운 수준의 사실감을 구현할 수 있다. 기획 담당자들은 강력하고 에너지 효율적인 새로운 컴퓨팅 솔루션을 에지 배포에 사용할 수 있다. 크리에이터는 편집과 렌더링 속도를 높여 더욱 풍부한 시각적 콘텐츠를 제작할 수 있다. 건축가와 엔지니어는 아이디어를 3D CAD 개념에서 실제 디자인으로 원활하게 전환할 수 있다. 스마트 공간에서 작업하는 경우에는 공간 제약이 있는 환경에서 실시간 데이터 처리, AI 기반 보안, 디지털 사이니지 관리 등에 GPU를 사용할 수 있다. 또한 의료 전문가들은 더 빠르고 정밀한 의료 영상 분석을 수행할 수 있다.

매스웍스는 매트랩(MATLAB) 및 시뮬링크(Simulink) 제품군의 릴리스 2024a(Release 2024a, 이하 R2024a)를 발표했다. 이번 R2024a는 AI 및 무선 통신 시스템을 다루는 엔지니어와 연구원의 워크플로를 간소화하는 새로운 기능을 포함한다. 현재 약 6000개의 저궤도 위성(LEO)가 궤도를 돌고 있으며 수십억 달러의 민간 부문 자금이 우주 관련 기업으로 유입되면서, 위성 통신에 대한 관심이 높아졌다. 위성 통신 엔지니어는 매트랩/시뮬링크 R2024a의 위성 통신 툴박스(Satellite Communications Toolbox) 업데이트를 통해 시나리오를 모델링할 수 있다. 또한 R2024a는 위성 통신 시스템과 링크를 설계 및 시뮬레이션하고 검증할 수 있는 표준 기반 툴을 제공한다. 이 툴박스는 RF 성분 및 지상국 수신기와 함께 물리 계층 알고리즘 설계와 테스트 파형을 생성할 수 있으며, 골든 레퍼런스 설계 검증을 수행할 수 있도록 지원한다.     이번 업데이트는 매트랩 및 시뮬링크에서 주로 사용되는 ▲컴퓨터 비전 툴박스(Computer Vision Toolbox) ▲딥러닝 툴박스(Deep Learning Toolbox) ▲계측기 제어 툴박스(Instrument Control Toolbox)에 대한 주요 업데이트도 포함한다. 컴퓨터 비전 툴박스는 컴퓨터 비전, 3차원 비전, 비디오 처리 시스템을 설계와 테스트를 위한 알고리즘, 함수 및 앱을 제공한다. 이 제품에는 2차원/3차원 비전 작업을 위한 알고리즘 설계, 데이터 레이블 지정, 코드 생성 기능이 포함되어 있다. 딥러닝 툴박스는 알고리즘, 사전 훈련된 모델 및 앱을 사용하여 심층 신경망을 설계하고 구현할 수 있는 프레임워크를 제공한다. 이 툴박스는 트랜스포머와 같은 아키텍처를 지원하고, 파이토치(PyTorch) 및 텐서플로우(TensorFlow) 모델과 연동 시뮬레이션을 수행할 수 있다. 계측기 제어 툴박스는 오실로스코프, 함수 발생기, 신호 분석기, 전력 공급장치, 분석 계측기와 같은 기기에 매트랩을 곧바로 연결할 수 있다. 계측기 탐색기(Instrument Explorer) 앱을 사용할 경우, 코드를 작성하지 않고 IVI 및 VXI 플러그 앤 플레이(Plug&Play) 드라이버 지원 기기를 관리할 수 있다. 매스웍스의 도미닉 비엔스(Dominic Viens) 기술 제품 마케팅 부문 이사는 “엔지니어들이 무선 시스템의 빠른 진화에 대처하기 위해 디자인, 시뮬레이션 및 검증을 위한 활용성이 높은 통신 툴을 사용하는 것이 필수적”이라면서, “R2024a 업데이트는 차세대 통신 시스템 구현과 지원을 한층 수월하게 할 것”이라고 말했다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   요즘 LLM 모델을 사용하는 방법이 점차 간편해지고 있어 자체적으로 LLM을 구축해 챗봇, 전문가 시스템 등을 자신의 서버에서 제공하는 경우가 많아지고 있다. 이번 호에서는 GPU가 있는 PC에서 직접 실행해 볼 수 있도록, 로컬 호스트 LLM(대규모 언어 모델) 오픈소스 기반의 BIM 전문가 챗봇 서비스를 간단히 개발해 본다.   ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 이메일 | laputa99999@gmail.com 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast   이번 호에서는 기존의 BIM PDF 파일을 검색해 학습하고, LLM에 RAG(Retrieval-augmented generation) 증강 학습한 후, 이를 간단한 UI로 웹 서비스하는 과정을 간략히 따라해 본다. 이번 호의 내용은 로컬 LLM의 편한 개발을 지원하는 올라마(Ollama), LLM 프롬프트 엔지니어링 프레임워크인 랭체인(LangChain), 텍스트 임베딩 벡터 데이터베이스 크로마(Chroma), 손쉬운 웹 앱 개발 지원 도구인 스트림릿(Streamlit)을 사용한다. 이를 이용해 간단하게 BIM 전문 지식을 PDF로 학습한 챗봇을 개발한다.   그림 1. 로컬 호스트 LLM 챗봇 아키텍처   그림 2. 구현된 BIM 지식 챗봇 서비스   LLM에 관련된 깊은 내용은 다음의 링크를 참고한다. 이 글은 여러 참고 자료를 이용해 작성된 것이다. 상세 내용은 레퍼런스를 참고하기 바란다. Facebook LLAMA-2 paper : https://daddynkidsmakers.blogspot.com/2024/02/llama-2.html Facebook LLAMA-2 installation : https://daddynkidsmakers.blogspot.com/2023/09/llama2.html LLM은 빅테크 업체 간 경쟁이 심한 분야이다. 이와 관련해서 젬마(Gemma), MPT-7B과 같은 LLM 모델이 오픈소스로 공개되고 있어 선택지가 많아지고 있다. 이와 관련해서는 다음을 참고한다.  Google Gemma : https://github.com/google/gemma_pytorch Blooom : https://huggingface.co/bigscience/bloom   설치 설치를 위해서는 엔비디아 드라이버, CUDA, 텐서플로(TensorFlow), 파이토치(PyTorch) 등 기본 딥러닝 개발 환경이 설치되어 있어야 한다.(최소 구동을 위한 GPU RAM은 6GB이다.) TensorFlow 설치 : https://www.tensorflow.org/install/pip?hl=ko#windows-native_1 Start Locally | PyTorch 설치 : https://pytorch.org/get-started/locally/ 설치 순서는 다음과 같다.  1. 기본 패키지를 설치한다. LLM 모델 기반 서비스 개발 지원 라이브러리 랭체인, 웹 앱 UI 개발을 지원하는 스트림릿, 텍스트 임베딩 벡터 데이터베이스 크로마 DB 등을 설치한다. pip install langchain streamlit streamlit_chat pypdf fastembed chardet pip install chromadb==0.4.15   그림 3. 다양한 LLM 모델을 이용한 서비스 개발을 지원하는 랭체인 패키지   그림 4. 간단한 코드로 웹 앱 개발을 지원하는 UI 라이브러리 패키지 streamlit.io   혹은 pip와 유사한 패키지 설치 관리자인 poetry를 설치한 후, 다음 사용 패키지들을 pyproject.toml 이름으로 저장하고 설치한다.     ■ 자세한 기사 내용은 PDF로 제공됩니다.

HPE는 엔비디아 GTC에서 생성형 AI, 딥러닝, 머신러닝 애플리케이션의 운영 고급화를 위한 통합 AI 네이티브 포트폴리오를 새롭게 업데이트했다고 발표했다. 이번에 발표된 업데이트는 ▲HPE와 엔비디아가 공동 엔지니어링한 풀스택 생성형 AI 솔루션 ▲HPE 머신러닝 추론 소프트웨어 프리뷰 버전 ▲엔터프라이즈급 검생증강생성(RAG : Retrieval-augmented generation) 레퍼런스 아키텍처 ▲신규 엔비디아 블랙웰(NVIDIA Blackwell) 플랫폼 기반 제품 개발 지원 등을 포함한다. 대규모 AI 모델의 개발 및 훈련을 위해 사전 구성 및 테스트된 풀스택 솔루션을 원하는 기업을 위해 생성형 AI용 HPE 슈퍼컴퓨팅 솔루션도 출시됐다. 고객들이 생성형 AI 및 딥러닝 프로젝트 개발을 가속할 수 있도록 목적 기반의 턴키 솔루션은 엔비디아 칩으로 구동되며 최대 168개의 엔비디아 GH200 그레이스 호퍼 슈퍼칩(GH Grace Hopper Superchip)이 제공된다. 이 솔루션은 대기업, 연구소 및 정부 기관들이 인공지능 및 머신러닝 소프트웨어 스택을 활용한 모델 개발 과정을 더욱 단순화할 수 있도록 지원한다. 이러한 소프트웨어 스택은 고객들이 대규모 언어 모델(LLM), 추천 시스템, 벡터 데이터 베이스 등 생성형 AI와 딥러닝 프로젝트를 더욱 빠르게 추진할 수 있도록 한다. 설치에서부터 모든 서비스가 제공되는 턴키 솔루션을 이용해 AI 연구 센터와 대기업은 가치 창출까지의 시간을 더욱 단축하고 훈련은 2~3배 더욱 신속히 진행할 수 있다.     HPE의 생성형 AI용 엔터프라이즈 컴퓨팅 솔루션은 유연하고 확장 가능한 사용량 기반 과금 모델을 제공하는 HPE 그린레이크(HPE GreenLake)를 통해 이용할 수 있다. 엔비디아와 공동 엔지니어링하여 사전 구성된 미세 조정(fine-tuning) 및 추론 솔루션은 생성형 AI 애플리케이션을 제작하기 위해 필요한 정확한 컴퓨팅, 스토리지, 소프트웨어, 네트워킹 및 컨설팅 서비스를 제공함으로써 소요 시간과 비용을 절감해 준다. 이러한 AI 네이티브 풀스택 솔루션은 프라이빗 데이터 기반의 파운데이셔널 모델을 제작하기 위해 필요한 속도, 규모, 관리 기능을 제공하고 하이브리드 클라우드 모델 내 생성형 AI 애플리케이션을 배포할 수 있도록 지원한다. HPE와 엔비디아의 고성능 AI 컴퓨팅 클러스터 및 소프트웨어를 기반으로 하는 이 솔루션은 경량 모델 미세조정, RAG, 대규모 추론 등에 이상적이다. 이 솔루션을 실행하는 700억 개의 파라미터를 가진 라마 2(Llama 2) 모델의 미세 조정 시간은 노드 수에 따라 선형적으로 감소하여 16노드 시스템에서는 6분이 소요된다. 이러한 속도와 성능 덕분에 고객은 버추얼 어시스턴트, 지능형 챗봇, 기업용 검색과 같은 AI 애플리케이션으로 비즈니스 생산성을 개선하여 가치 실현을 더욱 빠르게 달성할 수 있다. 또한, 해당 솔루션은 HPE 프로라이언트 DL380a Gen11 서버(HPE ProLiant DL380a Server)를 기반으로 엔비디아 GPU, 엔비디아 스펙트럼-X 이더넷(NVIDIA Spectrum-X Ethernet) 네트워킹 플랫폼, 엔비디아 블루필드-3 DPU(NVIDIA BlueField-3 DPU)으로 사전 구성되어 있다. 이에 더해 HPE의 머신러닝 플랫폼과 애널리틱스 소프트웨어, 생성형 AI 모델 추론용으로 최적화된 엔디비아 NIM 마이크로서비스가 제공되는 엔비디아 AI 엔터프라이즈 5.0 소프트웨어뿐만 아니라 엔비디아 네모 리트리버(NeMo Retriever) 및 기타 데이터 사이언스와 AI 라이브러리를 이용할 수 있다. HPE의 안토니오 네리(Antonio Neri) CEO는 “생성형 AI의 미래를 실현하고 AI 생명주기 전반을 다루기 위한 솔루션은 설계부터 하이브리드로 제작되어야 한다. AI는 하이브리드 클라우드 환경이 필요한 워크로드로, 온프레미스나 코로케이션 시설, 퍼블릭 클라우드에서 AI 모델을 훈련하는 것부터 에지에서의 추론 작업까지 모든 환경에 걸쳐 진행된다”면서, “HPE와 엔비디아는 공동 설계한 AI 소프트웨어 및 하드웨어 솔루션을 지속적으로 선보이며, 고객들이 기획에서부터 제작까지 생성형 AI를 가속해서 개발하고 배포할 수 있도록 도와줄 것”이라고 말했다. 엔비디아의 젠슨 황(Jensen Huang) CEO는 “생성형 AI는 커넥티드 디바이스, 데이터 센터 및 클라우드 내 데이터에서 인사이트를 도출해내며 전 산업의 혁신을 일으킬 수 있다. 엔비디아와 HPE의 협력 확대를 통해 기업들은 데이터를 활용하여 새로운 AI 애플리케이션을 개발 및 배포함으로써 전례 없는 생산성 향상을 경험하고 비즈니스를 새롭게 전환할 수 있을 것”이라고 말했다.

    발행년도 : 2023년 서명 : LH 업무효율화를 위한 딥러닝 개발 방향 연구 저자명 : 양동석∙기호영∙이지은∙이정은 발주처 : 토지주택연구원     【연구 배경 및 목적】 - 인공지능 기술은 하드웨어의 발전과 학습 알고리즘 등 소프트웨어의 고도화를 배경으로 여러 분야에서 활용되어지고 있음 - 최근 초거대 딥러닝 기술의 대표적인 언어모델인 chatGPT 서비스는 많은 분야에서 각광을 받고 있음 - 특히 주거복지 분양에서 다양한 계층의 주거환경 개선에 딥러닝을 적용하여 맞춤형 서비스 제공 및 경제적 효율화를 모색할 필요가 있음 - LH는 도시 및 주택분야 건설·주택관리 등 다양한 영역에 빅데이터를 구축할 수 있어 충분한 학습데이터의 축적이 가능함에 따라 초거대 딥러닝 기술 적용이 용이 【연구 내용 및 방법】 - 인공지능 및 딥러닝 기술 검토 - LH의 딥러닝 기술 활용 분야 발굴 - 딥러닝 기술 적용 방안 수립 【연구결과】 - LH의 업무 및 대국민서비스에 딥러닝을 활용하여 개인 맞춤형 서비스 제공 및 업무 생산성 향상 기대 - 주거복지 서비스뿐만 아니라 스마트홈 및 스마트도시 건설업무 등에 활용 기대

BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 생성형 AI 모델 학습과 같이 현재도 다양한 곳에서 필수로 사용되는 강화학습 딥러닝 기술의 기본 개념, 이론적 배경, 내부 작동 메커니즘을 확인한다.   ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 이메일 | laputa99999@gmail.com 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast   강화학습은 바둑, 로봇 제어와 같은 제한된 환경에서 최대 효과를 얻는 응용분야에 많이 사용된다. 강화학습 코딩 전에 사전에 강화학습의 개념을 미리 이해하고 있어야 제대로 된 개발이 가능하다. 강화학습에 대해 설명한 인터넷의 많은 글은 핵심 개념에 대해 다루기보다는 실행 코드만 나열한 경우가 많아, 실행 메커니즘을 이해하기 어렵다. 메커니즘을 이해할 수 없으면 응용 기술을 개발하기 어렵다. 그래서 이번 호에서는 강화학습 메커니즘과 개념 발전의 역사를 먼저 살펴보고자 한다. 강화학습 개발 시 오픈AI(OpenAI)가 개발한 Gym(www.gymlibrary.dev/index.html)을 사용해 기본적인 강화학습 실행 방법을 확인한다. 참고로, 깃허브 등에 공유된 강화학습 예시는 대부분 게임이나 로보틱스 분야에 치중되어 있는 것을 확인할 수 있다. 여기서는 CartPole 예제로 기본적인 라이브러리 사용법을 확인하고, 게임 이외에 주식 트레이딩, 가상화폐, ESG 탄소 트레이딩, 에너지 활용 설비 운영과 같은 실용적인 문제를 풀기 위한 방법을 알아본다.   그림 1. 강화학습의 개념(출처 : Google)   강화학습의 동작 메커니즘 강화학습을 개발하기 전에 동작 메커니즘을 간략히 정리하고 지나가자.   강화학습 에이전트, 환경, 정책, 보상 강화학습의 목적은 주어진 환경(environment) 내에서 에이전트(agent)가 액션(action)을 취할 때, 보상 정책(policy)에 따라 관련된 변수 상태 s와 보상이 수정된다. 이를 반복하여 총 보상 r을 최대화하는 방식으로 모델을 학습한다. 정책은 보상 방식을 알고리즘화한 것이다. <그림 2>는 이를 보여준다. 이는 우리가 게임을 하며 학습하는 것과 매우 유사한 방식이다.   그림 2. 강화학습 에이전트, 환경, 액션, 보상 개념(출처 : towardsdatascience)   강화학습 설계자는 처음부터 시간에 따른 보상 개념을 고려했다. 모든 시간 경과에 따른 보상치를 동시에 계산하는 것은 무리가 있으므로, 이를 해결하기 위해 DQN(Deep Q-Network)과 같은 알고리즘이 개발되었다. 모든 강화학습 라이브러리는 이런 개념을 일반화한 클래스, 함수를 제공한다. 다음은 강화학습 라이브러리를 사용한 일반적인 개발 코드 패턴을 보여준다.   train_data, test_data = load_dataset()  # 학습, 테스트용 데이터셋 로딩 class custom_env(gym):  # 환경 정책 클래스 정의    def __init__(self, data):       # 환경 변수 초기화    def reset():       # 학습 초기 상태로 리셋    def step(action):       # 학습에 필요한 관찰 데이터 변수 획득       # 액션을 취하면, 그때 관찰 데이터, 보상값을 리턴함 env = custom_env(train_data)  # 학습환경 생성. 관찰 데이터에 따른 보상을 계산함 model = AgentModel(env)      # 에이전트 학습 모델 정의. 보상을 극대화하도록 설계 model.learn()                       # 보상이 극대화되도록 학습 model.save('trained_model')    # 학습된 파일 저장 # 학습된 강화학습 모델 기반 시뮬레이션 및 성능 비교 env = custom_env(test_data)  # 테스트환경 생성 observed_state = env.reset() while not done:    action = model.predict(observed_state) # 테스트 관찰 데이터에 따른 극대화된 보상 액션    observed_state, reward, done, info = env.step(action)    # al1_reward = env.step(al1_action) # 다른 알고리즘에 의한 액션 보상값과 성능비교    # human_reward = env.step(human_action) # 인간의 액션 보상값과 성능비교   ■ 상세한 기사 내용은 PDF로 제공됩니다.